PathFM：多元轨迹的快速生成式预测模型
🧭 生成式时间序列预测 · Flow Matching
California Institute of Technology · Amazon
PathFM 用 flow matching 生成完整多元轨迹，通过蒸馏与共享 KV cache 实现近单次查询速度，并取得最优路径分数
📌 工作参考价值（4 点）
- 需求/流量预测：电商大促、广告库存等场景需要累积需求、峰值、到达时间等轨迹级指标，用 flow matching 替代纯分位数模型可同时保留多步依赖与不确定性，适合 downstream 优化。
- 工程加速：多轨迹采样通过蒸馏到 1-2 步 + 共享 history attention cache 显著降低在线推理成本；类似思路可迁移到生成式推荐或 Agent 场景中需要对同一上下文做多次采样的模块。
- 校准损失直接优化：蒸馏后采样器支持端到端校准目标，比事后校准更稳定；在电商不确定预测（如缺货概率、风险控制）中可借鉴。
- 评估指标：引入 energy score / variogram score 评估路径依赖，比单纯 CRPS 更能反映序列依赖结构，可用于多步推荐收益预测、广告投放轨迹评估。
MatrixFormer：矩阵补全基础模型
🧭 矩阵补全基础模型 · 零样本推荐评分 ★ 深度解读
Columbia University · Cornell Tech
二维网格 token + 轴向注意力的预训练矩阵补全模型，零样本跨域完成插补、评分预测与因果面板补全
📌 工作参考价值（4 点）
- 二维矩阵原生表示替代 entry-wise 展开：把 user-item 评分矩阵或特征矩阵直接建模为二维 token 网格，用轴向 attention（行内 feature attention + 列内 datapoint attention）同时捕捉用户维度和物品维度结构，避免像 TabImpute 那样把每个 entry 变成一条样本导致上下文重复、显存爆炸；在大规模稀疏矩阵补全或召回后特征填充场景可直接复用该架构。
- 合成低秩/潜因子矩阵预训练，零样本迁移：训练时完全用合成矩阵，显式混合低秩、宽秩谱、潜因子以及 MCAR/MAR/MNAR 多种缺失机制，并加入稀疏行/列模拟冷启动；训练好的权重可以不做 fine-tune 直接用于真实推荐评分矩阵、表格缺失值、甚至 LLM benchmark score completion，适合作为内部数据补全或缺失特征填充的基础组件。
- Observed-error ensembling 做领域自适应：用观测样本上最小化标准化重构误差拟合通用补全专家和推荐专家的混合权重，权重解析、单一标量、无需训练；在跨域或新业务数据上可以先跑两个专家、按观测误差自动决定谁的预测更可信，这是一种低成本的多模型融合 trick。
- 单次前向 + 窗口推理支持大规模矩阵：模型一次前向预测全部缺失值，固定列宽下随行数扩展比 entry-wise 方法快 107×；实际线上可用窗口/分块策略（如最多 2000 行、1000 列）处理大矩阵，并在重叠窗口取平均，兼顾速度与精度。
SIRF：面向工业内容风控的政策内化风险基础模型
🧭 内容风控 · 政策内化基础模型
Xiaohongshu Inc. · Tianjin University
通过约70M token小规模CPT将复杂政策内化到8B模型，在verdict-only低延迟下将Black Recall@P95提升15.1pp
📌 工作参考价值（4 点）
- 政策/规则内化到模型权重而非仅用RAG或prompt，适合高精度+秒级延迟场景：电商/广告审核、平台治理可参考EntiGraph+MAGA rewriting+账号级CoT自动合成领域规则语料，对底座做几十M tokens小规模CPT再SFT，在verdict-only输出下获得提升，避免检索延迟。
- 同源对照实验值得借鉴：控制变量隔离CPT贡献，只让policy-grounded CPT一个因素变化，避免把能力提升误归于SFT或提示词，适合业务团队做严格归因。
- verdict-only+logprob可落地为树模型裁决层：模型输出logprob作为置信度，高精度自动处置，边界样本交给树模型校准，可恢复误伤样本；电商处罚/营销触达等高风险场景可复用该部署结构。
- 规则频繁变更时，用低成本合成语料+小规模CPT迁移到新场景，能大幅降低误伤率；对电商季节性/区域合规策略更新有直接迁移价值。
Intern-S2-Mobius：知识存储与推理解耦的高效基础模型
🧭 LLM 架构 · 知识-推理解耦 ★ 深度解读
Shanghai AI Laboratory
通过全局共享 FFN 知识库与多 Reasoner 隐式迭代，实现同等精度下近 4 倍端到端推理加速
📌 工作参考价值（4 点）
- 解耦知识存储的思路可迁移到「LLM + 海量商品/内容知识」：把商品语义向量、属性知识放到全局共享 Memory 或 MoE 专家中，推荐/广告 Reasoner 按需检索；商品新增下架更像更新知识库，而非重训整套模型。
- 隐式 latent reasoning 值得在 query 推荐、广告文案生成、Agent 规划等长 CoT 成本高的场景探索：用连续隐状态迭代或蒸馏压缩显式 CoT，可显著降低 token 数、提升吞吐，但需在小任务上先验证精度损失。
- MoE 块状划分 FFN + 稀疏激活，为推荐大模型部署提供冷热分层思路：高频知识参数放 GPU，低频/长尾知识放 SSD 按需加载，降低显存压力。
- 该架构显示同等效果只需 Transformer 约 62.6% 的训练数据，对标注稀疏的电商任务有吸引力；但属基础架构改动，业务直接落地的工程成本较高。
Intern-S2-Preview：科学代理基础模型
🧭 科学代理基础模型 · RL与多模态训练
Shanghai AI Laboratory
构建科学多模态代理基础模型，融合强化学习训练与时间序列预测，支持长程科学任务
📌 工作参考价值（4 点）
- RL训练效率技巧可迁移至Agent策略优化：partial rollout with off-policy correction 和 adaptive length regularization 能降低长轨迹任务的训练成本，适合对话式推荐、搜索交互等场景的在线策略学习。
- online speculative decoding 可加速线上Agent服务推理，降低延迟，在推荐解释生成、实时对话等场景有直接工程价值。
- Memory Decoder（4B）作为冻结大模型上的轻量适配层，能快速注入垂直领域知识（如电商商品知识、广告文案规范），无需微调397B主干，规避大模型频繁更新风险，适合业务侧低成本定制。
- 时间序列预测模块扩展长序列理解到数值预测，可借鉴用于电商流量/销量预测、广告预算分配等业务时序任务。
推荐基础模型的渐进式多阶段后训练与业务对齐
🧭 推荐基础模型的渐进后训练与奖励对齐 ★ 深度解读
NAVER WEBTOON
通过三阶段渐进后训练（LP→FFT→RFT）分离适配与对齐，用奖励模型引导策略优化，显著提升深度业务指标
📌 工作参考价值（4 点）
- 当基础模型适配下游任务时，先做线性探测（LP）冻结骨干训练 Task Head，再做全参数微调（FFT），并使用差异化学习率（骨干学习率 1/10），可有效缓解灾难性遗忘，稳定适配过程。
- 不要直接将面向业务指标的奖励模型作为排序策略部署；将其作为 RFT 的对齐信号，对基于密集隐式反馈（如点击）训练的排序策略进行 fine-tune，既能提升深层业务指标，又保持强排序能力。
- 奖励模型训练时，利用倾向得分（IPS）加权矫正曝光偏差，并用序数回归（Ordinal Regression）将多级漏斗转化为连续奖励分数，可作为电商推荐中多阶段转化（浏览→加购→下单→支付）等长周期目标的通用建模方式。
- 在线上系统上线新模型时，可采用 GRPO 做奖励对齐，其在深度参与指标上优于 DPO；若偏好信号密集且可靠（如基于实际漏斗阶段），DPO 也可作为轻量替代，尤其适合提升即时点击行为。
MonkeyOCRv2：面向文档AI的视觉-文本基础模型
🧭 文档视觉预训练 · 多模态基础模型
Huazhong University of Science and Technology · Kingsoft Office
面向文档图像的视觉-文本预训练模型，通过联合生成与重建策略提升多任务性能，冻结后可作为高效的多模态LLM视觉编码器
📌 工作参考价值（4 点）
- 商品图像文本增强：联合生成与像素重建的预训练策略对字符笔画和布局高度敏感，可直接用于提升电商商品图、广告素材的OCR准确率，特别是小字、艺术字、复杂背景下的关键信息提取。
- 高效商品文档解析：冻结MonkeyOCRv2+轻量LM（0.7B）即可获得SOTA文档解析效果，推理开销远低于通用大模型，适合大规模商品描述、质检报告、报关单据的结构化信息抽取。
- 多语言支持：预训练涵盖17种语言，对国际化电商平台处理多语言商品标题、评论图片、广告文案有直接帮助，无需额外语言适配。
- 篡改检测与内容审核：模型在文档篡改检测上的强大能力可迁移至商品图片真伪鉴定、用户评论截图真实性审核等风控场景。
面向德语与英语的主权开源混合MoE Mamba Transformer基础模型
🧭 MoE 混合架构 · 多语言主权开源
Fraunhofer IAIS · Technische Universität Darmstadt · DFKI · L3S Research Center · KI Bundesverband
混合MoE与Mamba架构激活3B参数即匹配14-27B稠密模型，长上下文吞吐大幅领先
📌 工作参考价值（4 点）
- MoE与Mamba混合的恒定缓存设计，适合高并发长序列推理，可直接迁移至推荐系统用户长期行为建模，减少线上推理成本。
- 通过故意上调目标语言（德语）的数据采样权重，显著提升下游性能，对于多语言电商推荐场景，可借鉴该策略强化小语种或特定领域效果。
- 完全开放训练数据配比、超参与评估代码，为构建自有可控的业务基础模型提供了可复现的工程范式，适合对数据主权有要求的企业。
- 模型在代码相关任务上突出，若业务需处理搜索词解析、规则匹配等代码生成，可作为微调基座。
LoopFM：基于基础模型历史表征的推荐知识迁移
🧭 知识蒸馏优化 · 历史表示结构化 ★ 深度解读
Meta AI
将大模型历史中间层嵌入压缩并序列化为小模型输入特征，打破标量知识蒸馏的带宽瓶颈。
📌 工作参考价值（4 点）
- 离线生成用户侧序列特征：将大模型已产生的历史交互 embedding 按键（如 user ID）压缩成时间序列，作为 lightweight 模型的直接输入，无需实时推理大模型，显著降低在线延迟。
- 正交填充知识缺口：LoopFM 序列提供跨域、跨特征交互信息，与标量 KD 互补；在线上可并行部署两条迁移通道，提升整体迁移率（内部实验迁移率翻倍）。
- 以压缩控制成本，以结构保留时序信号：用自动编码器 + Matryoshka 维度灵活 + INT4 量化，可实现 4× 存储压缩；序列化方式比简单池化更好（DMIN attention 优于 mean-pool），但 sum-pool 也能捕获大部分增益，可按成本选择。
- 容量差距越大收益越高：小模型直接学高基数 ID 序列效果差，而 LoopFM 提供的低维、信息浓缩表示使小模型直接受益，这适合电商推荐中的重模型-轻模型架构。
面向一致视频几何估计的统一基础模型 ViGeo
🧭 视频几何估计 · 动态分块注意力
Zhejiang University · Tongyi Lab, Alibaba Group · Shanghai Jiao Tong University · Fudan University
通过动态分块注意力实现流式与全序列视频几何估计的统一模型，并引入补全式数据精炼提升监督质量
📌 工作参考价值（4 点）
- 动态分块注意力允许同一模型在训练后无缝切换双向/因果注意力模式，适合构建既能离线全量处理又能在线流式推理的序列模型（如用户行为序列建模），避免重复训练。
- 补全式数据精炼框架利用教师模型从稀疏、有噪标注生成稠密且时序一致的真值，可迁移至推荐系统中含噪 implicit feedback 或稀疏行为序列的伪标签生成，提升训练数据质量。
- 统一预测深度、法线、点图的多任务设计启示：在推荐模型中可对点击、转化、时长等多目标共享 backbone，以一致优化提升整体效果。
- 时序一致性约束的思想可启发推荐中的兴趣演变建模，例如在长序列用户行为中引入连贯性正则，避免短期噪声冲击。
连续处理下的因果基础模型
🧭 因果基础模型 · 连续处理
首个面向连续处理的因果基础模型，通过元学习和上下文学习实现个体处理效应曲线的零样本预测
📌 工作参考价值（4 点）
- 电商中价格、折扣、广告预算等连续干预的因果效应估计，可借鉴该模型的元学习思路，预训练一个能快速适应新场景的基础模型，避免每次活动都从零建模。
- 利用合成数据生成丰富的因果训练集（类似论文的 prior over DGPs），可大幅降低真实业务标注成本，尤其适合干预变量连续且实验成本高的场景。
- Transformer 作为结构，以上下文学习方式直接输出个体处理效应曲线，相比传统的反事实预估模型，能更细粒度地刻画异质性，为个性化定价或补贴决策提供依据。
- 该模型展示的“摊销贝叶斯后验”思想，可启发我们在推荐系统中用统一的神经网络替代反复的 MCMC 推断，提升在线实验效率。